Embora recuperação densa revolucionou a busca ao capturar o intuito semântico, mas ambientes de produção revelam uma verdade dura: os vetores de embedding muitas vezes "suavizam" detalhes críticos como IDs de produtos, siglas raras e jargões técnicos. O mundo real não é puramente semântico; é uma combinação desordenada de significados abstratos e identificadores rígidos.
A Realidade da Produção
- A Vantagem Lexical: A recuperação lexical (como o BM25) permanece o padrão ouro para palavras exatas e sobreposição de frases. Não tenta adivinhar "o que você quer dizer"; encontra "exatamente o que você disse."
- A Falta de Semântica: A recuperação densa é excepcionalmente forte em corresponder significados (por exemplo, "problemas com pagamento" correspondendo a "falha na transação"), mas tem dificuldade intrínseca com sinais de alta precisão sinais esparsos como números de SKU ou códigos de peças.
- A Necessidade Híbrida: A busca híbrida existe porque o mundo não é puramente semântico nem puramente lexical. O comportamento do usuário é bifurcado — às vezes ele busca um conceito, e às vezes procura um token específico "agulha no palheiro".
Conhecimento Técnico
A recuperação densa é forte em corresponder significados, enquanto a recuperação lexical é forte em palavras exatas, identificadores e sobreposição de frases. Perguntas reais dos usuários muitas vezes precisam dos dois. A busca híbrida existe porque o mundo não é puramente semântico nem puramente lexical.